Target leakage, not model class, explains reported accuracy in survey-based cardiovascular screening: a leakage-tiered audit of glass-box and tabular foundation models
目标泄漏而非模型类别解释心血管筛查报告准确率:玻璃盒与表格基础模型泄漏分层审计
🧭 表格模型评估与目标泄漏审计
Data Science and AI Cluster, XU Exponential University of Applied Sciences, Potsdam, Germany · German University of Digital Science, Potsdam, Germany · College of Engineering, Abu Dhabi University, Abu Dhabi, United Arab Emirates · College of Technological Innovation, Zayed University, Abu Dhabi, United Arab Emirates · Cleveland Clinic Hospital, Abu Dhabi, United Arab Emirates
十个分类器在44万样本审计显示,移除两个诊断后特征使所有模型AUROC下降约0.05并收敛至0.0045带宽,性能差距来自特征泄漏而非模型架构
📌 工作参考价值(4 点)
- 建立泄漏分层特征审计:把与标签有因果/后诊断关系的特征按泄漏风险分层,观察移除后所有模型 AUC 的同步下降,电商推荐里类似“用户已加购/购买后的行为特征”会带来虚假 recall,需要消融区分特征贡献与模型能力。
- 玻璃盒模型(EBM)在表格任务上精度可非劣于复杂模型且推理快约两个数量级,适合线上排序/召回候选生成中低延迟且可解释的模块,不必为微小 AUROC 提升引入大模型。
- 部署前用冻结阈值跨时间/跨人群验证:推荐/广告模型在增量训练前先在下一时段数据上做 transport 检查,避免只看离线 AUC;对性别/年龄等分人群使用 Mondrian conformal 或分组校准修复覆盖率差异。
- 阈值公平性要在固定业务阈值下审计,而非只看全局 AUC;排序/推荐里对曝光阈值、推送文案的覆盖差异做 subgroup 召回/精确率检查,利用可解释模型的 shape function 编辑实现可审计修复。